Người vợ đầu tiên của Gary là nhà văn, nhà báo, biên tập viên người Anh của tạp chí Vogue Lesley Blanch, tác giả quyển The Wilder Shores of Love. Họ kết hôn năm 1944 và ly dị vào năm 1961. Từ năm 1962 đến năm 1970, Gary kết hôn với nữ diễn viên người Mỹ Jean Seberg, cả hai có với nhau một đứa con trai tên là Alexandre Diego Gary. Theo lời Diego Gary, ông giống như một người cha xa cách: "Ngay cả khi ông chỉ quanh quẩn gần đó, cha tôi vẫn không ra mặt. Vì bận bịu công việc, ông thường qua chào hỏi tôi, nhưng rồi lại đi suốt."[15] Sau khi biết vợ mình đã ngoại tình với Clint Eastwood, Gary đòi thách đấu tay đôi với Eastwood nhưng bị từ chối.[16] Gary chết vì tự bắn mình vào ngày 2 tháng 12 năm 1980 tại Paris. Ông để lại một lời ghi chú nói rằng cái chết của ông không liên quan đến vụ tự tử của Seberg vào năm trước. Ông cũng viết rõ trong tờ ghi chú rằng mình chính là Émile Ajar.[17] Gary được hỏa táng tại Nghĩa trang Père Lachaise và tro cốt đem rải xuống vùng biển Địa Trung Hải nằm gần Roquebrune-Cap-Martin.[18]